Experiment 3A - Claims and Premises quantifiers as backbones

This experiment differs from Experiment 3 as it replaces the components QuaNet with two new models, one trained to quantify claims, one premises; we hope that this gaves the resulting ensemble more expressiveness in determining how many arguments an abstract contains.

from experiment_3a_code import *

C:\Users\Antonio\anaconda3\envs\NLP\Lib\site-packages\tqdm\auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html
  from .autonotebook import tqdm as notebook_tqdm
[nltk_data] Downloading package punkt to
[nltk_data]     C:\Users\Antonio\AppData\Roaming\nltk_data...
[nltk_data]   Package punkt is already up-to-date!
[nltk_data] Downloading package punkt_tab to
[nltk_data]     C:\Users\Antonio\AppData\Roaming\nltk_data...
[nltk_data]   Package punkt_tab is already up-to-date!

1. Preprocessing

We will condensate in two cells the preprocessing made in the previous experiments.

# EXPERIMENT 1A

# Read datasets
train_set_claims = read_brat_dataset_components('../data/train/neoplasm_train', positives=['Claim', 'MajorClaim'])
val_set_claims = read_brat_dataset_components('../data/dev/neoplasm_dev', positives=['Claim', 'MajorClaim'])

glaucoma_test_claims = read_brat_dataset_components('../data/test/glaucoma_test', positives=['Claim', 'MajorClaim'])
neoplasm_test_claims = read_brat_dataset_components('../data/test/neoplasm_test', positives=['Claim', 'MajorClaim'])
mixed_test_claims = read_brat_dataset_components('../data/test/mixed_test', positives=['Claim', 'MajorClaim'])

test_set_claims = glaucoma_test_claims + neoplasm_test_claims + mixed_test_claims

_, avg_sentences_per_file_train_claims = compute_dataset_statistics_components(train_set_claims, dataset_name="train")

# Create train collection
train_collection_claims = FilenameLabelledCollection([data['sentence'] for data in train_set_claims], 
                                                 [data['label'] for data in train_set_claims], 
                                                 [data['filename'] for data in train_set_claims])

val_collection_claims = FilenameLabelledCollection([data['sentence'] for data in val_set_claims], 
                                                 [data['label'] for data in val_set_claims], 
                                                 [data['filename'] for data in val_set_claims])

# Create test collections
test_collection_claims = FilenameLabelledCollection([data['sentence'] for data in test_set_claims], 
                                                 [data['label'] for data in test_set_claims], 
                                                 [data['filename'] for data in test_set_claims])

glaucoma_collection_claims = FilenameLabelledCollection([data['sentence'] for data in glaucoma_test_claims], 
                                                 [data['label'] for data in glaucoma_test_claims], 
                                                 [data['filename'] for data in glaucoma_test_claims])

neoplasm_collection_claims = FilenameLabelledCollection([data['sentence'] for data in neoplasm_test_claims], 
                                                 [data['label'] for data in neoplasm_test_claims], 
                                                 [data['filename'] for data in neoplasm_test_claims])

mixed_collection_claims = FilenameLabelledCollection([data['sentence'] for data in mixed_test_claims], 
                                                 [data['label'] for data in mixed_test_claims], 
                                                 [data['filename'] for data in mixed_test_claims])

# Create and index the dataset
indexer_claims = qp.data.preprocessing.IndexTransformer(min_df=1)
abs_dataset_claims = CustomDataset(training=train_collection_claims, test=test_collection_claims, val=val_collection_claims)
index(abs_dataset_claims, indexer_claims, inplace=True)

# Index the test collections
index(glaucoma_collection_claims, indexer_claims, fit=False, inplace=True)
index(neoplasm_collection_claims, indexer_claims, fit=False, inplace=True)
index(mixed_collection_claims, indexer_claims, fit=False, inplace=True)

- Train set:
	Label 0: 3924 samples
	Label 1: 730 samples

	There are 2 different labels in the train set -> [0, 1]
	Average number of sentences per file in train set: 13
	Max sentence length: 107
	Max sentences in a single abstract: 31
	Average components per file: 2.09
	Average non-components per file: 11.21

indexing: 100%|████████████████████████████████████████████████| 4654/4654 [00:00<00:00, 98248.42it/s]
indexing: 100%|██████████████████████████████████████████████████| 708/708 [00:00<00:00, 45236.07it/s]
indexing: 100%|████████████████████████████████████████████████| 3838/3838 [00:00<00:00, 81843.61it/s]
indexing: 100%|███████████████████████████████████████████████████████████| 1291/1291 [00:00<?, ?it/s]
indexing: 100%|████████████████████████████████████████████████| 1338/1338 [00:00<00:00, 83197.12it/s]
indexing: 100%|████████████████████████████████████████████████| 1209/1209 [00:00<00:00, 77161.71it/s]

<experiment_3a_code.FilenameLabelledCollection at 0x19b81e781d0>

# EXPERIMENT 1B

# Read datasets
train_set_premises = read_brat_dataset_components('../data/train/neoplasm_train', positives=['Premise'])
val_set_premises = read_brat_dataset_components('../data/dev/neoplasm_dev', positives=['Premise'])

glaucoma_test_premises = read_brat_dataset_components('../data/test/glaucoma_test', positives=['Premise'])
neoplasm_test_premises = read_brat_dataset_components('../data/test/neoplasm_test', positives=['Premise'])
mixed_test_premises = read_brat_dataset_components('../data/test/mixed_test', positives=['Premise'])

test_set_premises = glaucoma_test_premises + neoplasm_test_premises + mixed_test_premises

_, avg_sentences_per_file_train_premises = compute_dataset_statistics_components(train_set_premises, dataset_name="train")

# Create train collection
train_collection_premises = FilenameLabelledCollection([data['sentence'] for data in train_set_premises], 
                                                 [data['label'] for data in train_set_premises], 
                                                 [data['filename'] for data in train_set_premises])

val_collection_premises = FilenameLabelledCollection([data['sentence'] for data in val_set_premises], 
                                                 [data['label'] for data in val_set_premises], 
                                                 [data['filename'] for data in val_set_premises])

# Create test collections
test_collection_premises = FilenameLabelledCollection([data['sentence'] for data in test_set_premises], 
                                                 [data['label'] for data in test_set_premises], 
                                                 [data['filename'] for data in test_set_premises])

glaucoma_collection_premises = FilenameLabelledCollection([data['sentence'] for data in glaucoma_test_premises], 
                                                 [data['label'] for data in glaucoma_test_premises], 
                                                 [data['filename'] for data in glaucoma_test_premises])

neoplasm_collection_premises = FilenameLabelledCollection([data['sentence'] for data in neoplasm_test_premises], 
                                                 [data['label'] for data in neoplasm_test_premises], 
                                                 [data['filename'] for data in neoplasm_test_premises])

mixed_collection_premises = FilenameLabelledCollection([data['sentence'] for data in mixed_test_premises], 
                                                 [data['label'] for data in mixed_test_premises], 
                                                 [data['filename'] for data in mixed_test_premises])

# Create and index the dataset
indexer_premises = qp.data.preprocessing.IndexTransformer(min_df=1)
abs_dataset_premises = CustomDataset(training=train_collection_premises, test=test_collection_premises, val=val_collection_premises)
index(abs_dataset_premises, indexer_premises, inplace=True)

# Index the test collections
index(glaucoma_collection_premises, indexer_premises, fit=False, inplace=True)
index(neoplasm_collection_premises, indexer_premises, fit=False, inplace=True)
index(mixed_collection_premises, indexer_premises, fit=False, inplace=True)

- Train set:
	Label 0: 3108 samples
	Label 1: 1537 samples

	There are 2 different labels in the train set -> [0, 1]
	Average number of sentences per file in train set: 13
	Max sentence length: 107
	Max sentences in a single abstract: 31
	Average components per file: 4.39
	Average non-components per file: 8.88

indexing: 100%|███████████████████████████████████████████████| 4645/4645 [00:00<00:00, 104761.75it/s]
indexing: 100%|██████████████████████████████████████████████████| 708/708 [00:00<00:00, 45414.56it/s]
indexing: 100%|████████████████████████████████████████████████| 3829/3829 [00:00<00:00, 80826.94it/s]
indexing: 100%|████████████████████████████████████████████████| 1289/1289 [00:00<00:00, 82451.97it/s]
indexing: 100%|████████████████████████████████████████████████| 1332/1332 [00:00<00:00, 85094.78it/s]
indexing: 100%|████████████████████████████████████████████████| 1208/1208 [00:00<00:00, 77306.10it/s]

<experiment_3a_code.FilenameLabelledCollection at 0x19b81e83fb0>

# EXPERIMENT 2

# Read datasets
train_set_relations = read_brat_dataset_relations('../data/train/neoplasm_train') 
val_set_relations = read_brat_dataset_relations('../data/dev/neoplasm_dev')

glaucoma_test_relations = read_brat_dataset_relations('../data/test/glaucoma_test')
neoplasm_test_relations = read_brat_dataset_relations('../data/test/neoplasm_test')
mixed_test_relations = read_brat_dataset_relations('../data/test/mixed_test')

test_set_relations = glaucoma_test_relations + neoplasm_test_relations + mixed_test_relations

_, avg_sentences_per_file_train_relations = compute_dataset_statistics_relations(train_set_relations, dataset_name="train")

# Create train collection
train_collection_relations = FilenameLabelledCollection([data['sentence'] for data in train_set_relations], 
                                                 [data['label'] for data in train_set_relations], 
                                                 [data['filename'] for data in train_set_relations])


val_collection_relations = FilenameLabelledCollection([data['sentence'] for data in val_set_relations], 
                                                 [data['label'] for data in val_set_relations], 
                                                 [data['filename'] for data in val_set_relations])

# Create test collections
test_collection_relations = FilenameLabelledCollection([data['sentence'] for data in test_set_relations], 
                                                 [data['label'] for data in test_set_relations], 
                                                 [data['filename'] for data in test_set_relations])

glaucoma_collection_relations = FilenameLabelledCollection([data['sentence'] for data in glaucoma_test_relations], 
                                                 [data['label'] for data in glaucoma_test_relations], 
                                                 [data['filename'] for data in glaucoma_test_relations])

neoplasm_collection_relations = FilenameLabelledCollection([data['sentence'] for data in neoplasm_test_relations], 
                                                 [data['label'] for data in neoplasm_test_relations], 
                                                 [data['filename'] for data in neoplasm_test_relations])

mixed_collection_relations = FilenameLabelledCollection([data['sentence'] for data in mixed_test_relations], 
                                                 [data['label'] for data in mixed_test_relations], 
                                                 [data['filename'] for data in mixed_test_relations])

# Create and index the dataset
indexer_relations = qp.data.preprocessing.IndexTransformer(min_df=1)
abs_dataset_relations = CustomDataset(training=train_collection_relations, test=test_collection_relations, val=val_collection_relations)
index(abs_dataset_relations, indexer_relations, inplace=True)

# Index the test collections
index(glaucoma_collection_relations, indexer_relations, fit=False, inplace=True)
index(neoplasm_collection_relations, indexer_relations, fit=False, inplace=True)
index(mixed_collection_relations, indexer_relations, fit=False, inplace=True)

- Train set:
	Label 0: 3251 samples
	Label 1: 1394 samples

	There are 2 different labels in the train set -> [0, 1]
	Average number of sentences per file in train set: 13
	Max sentence length: 107
	Max sentences in a single abstract: 31
	Average relationships per file: 4.06
	Average no relationships per file: 9.29

indexing: 100%|████████████████████████████████████████████████| 4645/4645 [00:00<00:00, 99091.32it/s]
indexing: 100%|█████████████████████████████████████████████████| 708/708 [00:00<00:00, 232815.93it/s]
indexing: 100%|████████████████████████████████████████████████| 3828/3828 [00:00<00:00, 27125.68it/s]
indexing: 100%|████████████████████████████████████████████████| 1288/1288 [00:00<00:00, 82425.71it/s]
indexing: 100%|████████████████████████████████████████████████| 1332/1332 [00:00<00:00, 85248.00it/s]
indexing: 100%|███████████████████████████████████████████████| 1208/1208 [00:00<00:00, 133513.91it/s]

<experiment_3a_code.FilenameLabelledCollection at 0x19b81f470e0>

Now it's time to create the dictionaries according to which our new head will be training: we will have one dictionary for each set we intend to use.

train_filename_to_labels = filename_to_arguments_number('../data/train/neoplasm_train') 
val_filename_to_labels = filename_to_arguments_number('../data/dev/neoplasm_dev') 
filename_to_labels = train_filename_to_labels | val_filename_to_labels

glaucoma_test_filename_to_labels = filename_to_arguments_number('../data/test/glaucoma_test')
neoplasm_test_filename_to_labels = filename_to_arguments_number('../data/test/neoplasm_test')
mixed_test_filename_to_labels = filename_to_arguments_number('../data/test/mixed_test')

test_filename_to_labels = glaucoma_test_filename_to_labels | \
                          neoplasm_test_filename_to_labels | \
                          mixed_test_filename_to_labels

Labels in ../data/train/neoplasm_train:
--------------------------------------------------
N.Args    0         1         2         3         
Count     11        274       58        7         

Labels in ../data/dev/neoplasm_dev:
--------------------------------------------------
N.Args    1         2         3         
Count     38        11        1         

Labels in ../data/test/glaucoma_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     4         61        33        2         

Labels in ../data/test/neoplasm_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     1         73        20        6         

Labels in ../data/test/mixed_test:
--------------------------------------------------
N.Args    0         1         2         3         
Count     3         74        18        5         

train_filenames, val_filenames = train_test_split(
    list(filename_to_labels.keys()), train_size=0.66, random_state=42
)

train_filename_to_labels = {filename: filename_to_labels[filename] for filename in train_filenames}
val_filename_to_labels = {filename: filename_to_labels[filename] for filename in val_filenames}

count_labels(train_filename_to_labels, 'final train set')
count_labels(val_filename_to_labels, 'final validation set')
count_labels(glaucoma_test_filename_to_labels, 'glaucoma test set')
count_labels(neoplasm_test_filename_to_labels, 'neoplasm test set')
count_labels(mixed_test_filename_to_labels, 'mixed test set')

Labels in final train set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     10        209       41        4         

Labels in final validation set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     1         103       28        4         

Labels in glaucoma test set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     4         61        33        2         

Labels in neoplasm test set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     1         73        20        6         

Labels in mixed test set:
--------------------------------------------------
N.Args    0         1         2         3         
Count     3         74        18        5         

Models

Classifiers checkpoints

Let us load the two CNN's employed by respectively the components and relations QuaNets; we do this with the same set of parameters used for training.

# Claims
set_seed(42)

claims_embedding_size = 180
claims_hidden_size = 269   
claims_lr = 0.0009964893016712443

claims_cnn_module = CNNnet(
    abs_dataset_claims.vocabulary_size,
    abs_dataset_claims.training.n_classes,
    embedding_size=claims_embedding_size,
    hidden_size=claims_hidden_size
)

claims_optimizer = Adam(claims_cnn_module.parameters(), lr=claims_lr)
claims_scheduler = CosineAnnealingLR(claims_optimizer, T_max=2)

claims_cnn_classifier = ScheduledNeuralClassifierTrainer(
    claims_cnn_module,
    lr_scheduler=claims_scheduler,
    optim = claims_optimizer,
    device='cpu',
    checkpointpath='../checkpoints/arguments_cp/claims/classifier_net.dat',
    padding_length=107,
    patience=10
)

claims_cnn_classifier.net.load_state_dict(torch.load('../checkpoints/claims/classifier_net.dat', weights_only=True))
claims_cnn_classifier.classes_ = abs_dataset_claims.training.classes_

[NeuralNetwork running on cpu]

# Premises
set_seed(42)

premises_embedding_size = 180
premises_hidden_size = 269   
premises_lr = 0.0009964893016712443

premises_cnn_module = CNNnet(
    abs_dataset_premises.vocabulary_size,
    abs_dataset_premises.training.n_classes,
    embedding_size=premises_embedding_size,
    hidden_size=premises_hidden_size
)

premises_optimizer = Adam(premises_cnn_module.parameters(), lr=premises_lr)
premises_scheduler = CosineAnnealingLR(premises_optimizer, T_max=2)

premises_cnn_classifier = ScheduledNeuralClassifierTrainer(
    premises_cnn_module,
    lr_scheduler=premises_scheduler,
    optim = premises_optimizer,
    device='cpu',
    checkpointpath='../checkpoints/arguments_cp/premises/classifier_net.dat',
    padding_length=107,
    patience=10
)

premises_cnn_classifier.net.load_state_dict(torch.load('../checkpoints/premises/classifier_net.dat', weights_only=True))
premises_cnn_classifier.classes_ = abs_dataset_premises.training.classes_

[NeuralNetwork running on cpu]

# Relations
set_seed(42)

relations_embedding_size = 195
relations_hidden_size = 278   
relations_lr = 0.0005161449102180434

relations_cnn_module = CNNnet(
    abs_dataset_relations.vocabulary_size,
    abs_dataset_relations.training.n_classes,
    embedding_size=relations_embedding_size,
    hidden_size=relations_hidden_size
)

relations_optimizer = Adam(relations_cnn_module.parameters(), lr=relations_lr)
relations_scheduler = CosineAnnealingLR(relations_optimizer, T_max=11)

relations_cnn_classifier = ScheduledNeuralClassifierTrainer(
    relations_cnn_module,
    lr_scheduler=relations_scheduler,
    optim = relations_optimizer,
    device='cpu',
    checkpointpath='../checkpoints/arguments_cp/relations/classifier_net.dat',
    padding_length=107,
    patience=10
)

relations_cnn_classifier.net.load_state_dict(torch.load('../checkpoints/relations/classifier_net.dat', weights_only=True))
relations_cnn_classifier.classes_ = abs_dataset_relations.training.classes_

[NeuralNetwork running on cpu]

Train

First of all, we compute the weights to counteract the imbalance of the dataset.

Weights are computed in two manners, the formers are used for weighting CrossEntropy, the latters to perform Weighted Random Sampling; these two techniques are not performed together, meaning that we don't weight the loss criterion if we already counteract the imbalance using the random sampling technique.

import sklearn

y = np.array([train_filename_to_labels[filename]['n'] for filename in train_filename_to_labels.keys()])

class_weights=sklearn.utils.class_weight.compute_class_weight('balanced',classes=np.unique(y),y=y)
class_weights=torch.tensor(class_weights,dtype=torch.float)
print('Computed weights:')
for label, weight in zip(sorted(np.unique(y)), class_weights):
    print(f'\t{label}: {weight}')

class_weights_2 = torch.tensor(1 / np.bincount(y), dtype=torch.float32)
print('Computed weights 2:')
for label, weight in zip(sorted(np.unique(y)), class_weights_2):
    print(f'\t{label}: {weight}')

Computed weights:
	0: 6.599999904632568
	1: 0.31578946113586426
	2: 1.6097561120986938
	3: 16.5
Computed weights 2:
	0: 0.10000000149011612
	1: 0.0047846888191998005
	2: 0.024390242993831635
	3: 0.25

The next cell performs training and is executed multiple times based on the results obtained from the Optuna studies that follow. The set of hyperparameters that produced the best results is provided as comments; feel free to reproduce the experiments.

import torch.optim as optim
from torch.optim.lr_scheduler import CosineAnnealingLR, CosineAnnealingWarmRestarts

'''
- 1st OPTUNA STUDY:
    Best trial is 53:
      Value: 0.6725764604135545
      Params: 
        n_ff_layers: 3
        ap_ff_layers0: 256
        p_frozen_layers_percentage: 0
        c_frozen_layers_percentage: 0
        r_frozen_layers_percentage: 50
        optimizer: Adam
        weight_decay: 4.4739585622554004e-05
        beta1: 0.9269644651532588
        beta2: 0.9818981814521276
        lr: 0.0002894813180757364
        scheduler: None
        batch_size: 8
        WRS: True
        apdrop_p: 0.12164182574610338
'''

batch_size = 8
lr = 0.0002894813180757364
cfp = 0
pfp = 0
rfp = 50

apdrop_p = 0.12164182574610338
ap_ff_layers = [256, 128, 128]

optimizer_class = torch.optim.Adam
optimizer_params = {
    "betas": (0.9269644651532588, 0.9818981814521276),
    "weight_decay": 4.4739585622554004e-05,
}

# Define optimizer
arguments_predictor = ArgumentsPredictorTrainerCP(claims_cnn_classifier,
                                                premises_cnn_classifier, 
                                                relations_cnn_classifier, 
                                                c_frozen_layers_percentage = cfp, 
                                                p_frozen_layers_percentage = pfp, 
                                                r_frozen_layers_percentage = rfp,
                                                patience=4,
                                                qdrop_p=0, 
                                                apdrop_p=apdrop_p,
                                                batch_size=batch_size,
                                                ap_ff_layers = ap_ff_layers,
                                                qc_lr=lr, 
                                                qp_lr=lr, 
                                                qr_lr=lr, 
                                                ap_lr=lr, #Best with LSTM plain architecture
                                                # criterion=torch.nn.CrossEntropyLoss(weight=class_weights,reduction='mean'),
                                                criterion=torch.nn.CrossEntropyLoss(),
                                                class_weights=class_weights_2,
                                                optimizer_class=optimizer_class,
                                                optimizer_params = optimizer_params
                                               )

status, best_results, history = arguments_predictor.fit(
    abs_dataset_claims.training, 
    abs_dataset_claims.val,
    abs_dataset_premises.training, 
    abs_dataset_premises.val, 
    abs_dataset_relations.training, 
    abs_dataset_relations.val, 
    train_filename_to_labels,
    val_filename_to_labels,
    monitor = {'metric': 'va-f1', 'lower_is_better': False}
)

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]

[Arguments Predictor] - Epoch: 1   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         1.36222     | Val Loss:         1.37086   
	@ Train Acc:          39.39     % | Val Acc:          18.38     %
	@ Train Macro F1:     0.342       | Val Macro F1:     0.207     
	@ Train Weighted F1:  0.332       | Val Weighted F1:  0.071     

	@ Patience: 4 /4  - Current best va-f1: 0.20719 (epoch: 1)

	@ Confusion matrix train:
	        0       1       2       3   
	0      38       1      16       6   
	1       0       1      59       5   
	2       0       4      59       4   
	3       0       0      65       6   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       2       0      90      11   
	2       0       0      24       4   
	3       0       0       4       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]

[Arguments Predictor] - Epoch: 2   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         1.24791     | Val Loss:         1.47751   
	@ Train Acc:          51.52     % | Val Acc:          3.68      %
	@ Train Macro F1:     0.418       | Val Macro F1:     0.115     
	@ Train Weighted F1:  0.461       | Val Weighted F1:  0.005     

	@ Patience: 3 /4  - Current best va-f1: 0.20719 (epoch: 1)

	@ Confusion matrix train:
	        0       1       2       3   
	0      45       0       3      21   
	1       0       0      17      33   
	2       0       0      16      45   
	3       0       0       9      75   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       3       0       0      100  
	2       0       0       0      28   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.46it/s]

[Arguments Predictor] - Epoch: 3   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         1.13370     | Val Loss:         1.36119   
	@ Train Acc:          42.42     % | Val Acc:          3.68      %
	@ Train Macro F1:     0.314       | Val Macro F1:     0.086     
	@ Train Weighted F1:  0.315       | Val Weighted F1:  0.004     

	@ Patience: 2 /4  - Current best va-f1: 0.20719 (epoch: 1)

	@ Confusion matrix train:
	        0       1       2       3   
	0      44       0       0      21   
	1       4       0       0      63   
	2       0       0       0      64   
	3       0       0       0      68   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       5       0       0      98   
	2       0       0       0      28   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.06it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]

[Arguments Predictor] - Epoch: 4   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         1.04624     | Val Loss:         1.16426   
	@ Train Acc:          53.79     % | Val Acc:          55.15     %
	@ Train Macro F1:     0.474       | Val Macro F1:     0.285     
	@ Train Weighted F1:  0.466       | Val Weighted F1:  0.576     

	@ Patience: 4 /4  - Current best va-f1: 0.28454 (epoch: 4)

	@ Confusion matrix train:
	        0       1       2       3   
	0      59       2       0       3   
	1       9      30       0      38   
	2       2      12       0      54   
	3       0       1       1      53   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       7      70       0      26   
	2       0      13       0      15   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]

[Arguments Predictor] - Epoch: 5   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.94689     | Val Loss:         1.24973   
	@ Train Acc:          64.02     % | Val Acc:          36.76     %
	@ Train Macro F1:     0.593       | Val Macro F1:     0.195     
	@ Train Weighted F1:  0.599       | Val Weighted F1:  0.436     

	@ Patience: 3 /4  - Current best va-f1: 0.28454 (epoch: 4)

	@ Confusion matrix train:
	        0       1       2       3   
	0      55       4       0       0   
	1       8      33       6      16   
	2       0      14       8      39   
	3       0       0       8      73   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1      26      45       0      32   
	2       1      10       0      17   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]

[Arguments Predictor] - Epoch: 6   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.82572     | Val Loss:         1.06258   
	@ Train Acc:          65.53     % | Val Acc:          51.47     %
	@ Train Macro F1:     0.565       | Val Macro F1:     0.252     
	@ Train Weighted F1:  0.587       | Val Weighted F1:  0.550     

	@ Patience: 2 /4  - Current best va-f1: 0.28454 (epoch: 4)

	@ Confusion matrix train:
	        0       1       2       3   
	0      66       1       0       0   
	1       6      46       0      24   
	2       1      18       1      37   
	3       0       4       0      60   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1      15      65       0      23   
	2       0      13       0      15   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]

[Arguments Predictor] - Epoch: 7   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.77850     | Val Loss:         1.08004   
	@ Train Acc:          65.15     % | Val Acc:          43.38     %
	@ Train Macro F1:     0.565       | Val Macro F1:     0.233     
	@ Train Weighted F1:  0.576       | Val Weighted F1:  0.486     

	@ Patience: 1 /4  - Current best va-f1: 0.28454 (epoch: 4)

	@ Confusion matrix train:
	        0       1       2       3   
	0      53       4       0       0   
	1       8      37       1      14   
	2       0      19       1      41   
	3       0       3       2      81   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1      10      54       0      39   
	2       0      13       0      15   
	3       0       0       0       4   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]

[Arguments Predictor] - Epoch: 8   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.71685     | Val Loss:         0.96128   
	@ Train Acc:          68.18     % | Val Acc:          52.21     %
	@ Train Macro F1:     0.622       | Val Macro F1:     0.363     
	@ Train Weighted F1:  0.622       | Val Weighted F1:  0.570     

	@ Patience: 4 /4  - Current best va-f1: 0.36291 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0      60       2       0       0   
	1       6      45       4      14   
	2       0      21       6      37   
	3       0       0       0      69   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       3      62      17      21   
	2       0      15       5       8   
	3       0       0       1       3   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]

[Arguments Predictor] - Epoch: 9   | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.61490     | Val Loss:         0.77116   
	@ Train Acc:          72.73     % | Val Acc:          62.50     %
	@ Train Macro F1:     0.715       | Val Macro F1:     0.293     
	@ Train Weighted F1:  0.711       | Val Weighted F1:  0.627     

	@ Patience: 3 /4  - Current best va-f1: 0.36291 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0      60       2       0       0   
	1       4      44      11      10   
	2       0      18      25      23   
	3       0       0       4      63   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       9      78      16       0   
	2       0      22       6       0   
	3       0       1       3       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.85it/s]

[Arguments Predictor] - Epoch: 10  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.52962     | Val Loss:         0.96074   
	@ Train Acc:          78.03     % | Val Acc:          46.32     %
	@ Train Macro F1:     0.759       | Val Macro F1:     0.300     
	@ Train Weighted F1:  0.772       | Val Weighted F1:  0.515     

	@ Patience: 2 /4  - Current best va-f1: 0.36291 (epoch: 8)

	@ Confusion matrix train:
	        0       1       2       3   
	0      70       1       0       0   
	1       2      50      14       5   
	2       0      26      24       6   
	3       0       0       4      62   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1      16      53      24      10   
	2       0      17       6       5   
	3       0       0       1       3   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]

[Arguments Predictor] - Epoch: 11  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.45583     | Val Loss:         0.66012   
	@ Train Acc:          81.82     % | Val Acc:          67.65     %
	@ Train Macro F1:     0.792       | Val Macro F1:     0.653     
	@ Train Weighted F1:  0.806       | Val Weighted F1:  0.676     

	@ Patience: 4 /4  - Current best va-f1: 0.65342 (epoch: 11)

	@ Confusion matrix train:
	        0       1       2       3   
	0      67       0       0       0   
	1       4      54      12       2   
	2       0      23      24       7   
	3       0       0       0      71   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      82      20       1   
	2       0      21       7       0   
	3       0       1       1       2   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]

[Arguments Predictor] - Epoch: 12  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.39727     | Val Loss:         0.80074   
	@ Train Acc:          84.47     % | Val Acc:          59.56     %
	@ Train Macro F1:     0.842       | Val Macro F1:     0.424     
	@ Train Weighted F1:  0.840       | Val Weighted F1:  0.628     

	@ Patience: 3 /4  - Current best va-f1: 0.65342 (epoch: 11)

	@ Confusion matrix train:
	        0       1       2       3   
	0      59       1       0       0   
	1       2      54      11       2   
	2       0      20      40       5   
	3       0       0       0      70   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       5      65      32       1   
	2       0      14      14       0   
	3       0       0       3       1   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]

[Arguments Predictor] - Epoch: 13  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.38884     | Val Loss:         0.68368   
	@ Train Acc:          83.71     % | Val Acc:          65.44     %
	@ Train Macro F1:     0.837       | Val Macro F1:     0.511     
	@ Train Weighted F1:  0.835       | Val Weighted F1:  0.654     

	@ Patience: 2 /4  - Current best va-f1: 0.65342 (epoch: 11)

	@ Confusion matrix train:
	        0       1       2       3   
	0      64       1       0       0   
	1       2      51      20       1   
	2       0      13      43       5   
	3       0       0       1      63   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      80      23       0   
	2       0      20       8       0   
	3       0       1       3       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]

[Arguments Predictor] - Epoch: 14  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.28354     | Val Loss:         0.76088   
	@ Train Acc:          87.88     % | Val Acc:          63.24     %
	@ Train Macro F1:     0.871       | Val Macro F1:     0.673     
	@ Train Weighted F1:  0.877       | Val Weighted F1:  0.662     

	@ Patience: 4 /4  - Current best va-f1: 0.67258 (epoch: 14)

	@ Confusion matrix train:
	        0       1       2       3   
	0      76       0       0       0   
	1       1      62      13       0   
	2       0      15      37       3   
	3       0       0       0      57   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      68      34       1   
	2       0      13      15       0   
	3       0       0       2       2   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]

[Arguments Predictor] - Epoch: 15  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.34380     | Val Loss:         0.72890   
	@ Train Acc:          85.23     % | Val Acc:          64.71     %
	@ Train Macro F1:     0.836       | Val Macro F1:     0.531     
	@ Train Weighted F1:  0.845       | Val Weighted F1:  0.663     

	@ Patience: 3 /4  - Current best va-f1: 0.67258 (epoch: 14)

	@ Confusion matrix train:
	        0       1       2       3   
	0      67       1       0       0   
	1       3      30      27       0   
	2       0       8      58       0   
	3       0       0       0      70   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      74      29       0   
	2       0      15      13       0   
	3       0       0       4       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.31it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]

[Arguments Predictor] - Epoch: 16  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.30434     | Val Loss:         0.83006   
	@ Train Acc:          86.74     % | Val Acc:          58.09     %
	@ Train Macro F1:     0.878       | Val Macro F1:     0.523     
	@ Train Weighted F1:  0.867       | Val Weighted F1:  0.612     

	@ Patience: 2 /4  - Current best va-f1: 0.67258 (epoch: 14)

	@ Confusion matrix train:
	        0       1       2       3   
	0      66       0       0       0   
	1       1      55      18       0   
	2       0      15      55       1   
	3       0       0       0      53   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      59      44       0   
	2       0       9      19       0   
	3       0       0       4       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.36it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]

[Arguments Predictor] - Epoch: 17  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.24574     | Val Loss:         0.83729   
	@ Train Acc:          89.77     % | Val Acc:          59.56     %
	@ Train Macro F1:     0.899       | Val Macro F1:     0.518     
	@ Train Weighted F1:  0.897       | Val Weighted F1:  0.624     

	@ Patience: 1 /4  - Current best va-f1: 0.67258 (epoch: 14)

	@ Confusion matrix train:
	        0       1       2       3   
	0      70       0       0       0   
	1       0      53      16       0   
	2       0       9      55       2   
	3       0       0       0      59   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      65      38       0   
	2       0      13      15       0   
	3       0       0       4       0   

Training epoch: 100%|█████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|█████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]

[Arguments Predictor] - Epoch: 18  | QC LR: 2.89E-04   | QR LR: 2.89E-04   | AP LR: 2.89E-04  
	@ Train Loss:         0.23714     | Val Loss:         1.09315   
	@ Train Acc:          90.15     % | Val Acc:          50.74     %
	@ Train Macro F1:     0.902       | Val Macro F1:     0.500     
	@ Train Weighted F1:  0.901       | Val Weighted F1:  0.540     

	@ Patience: 0 /4  - Current best va-f1: 0.67258 (epoch: 14)

	@ Confusion matrix train:
	        0       1       2       3   
	0      69       0       0       0   
	1       2      53      12       0   
	2       0      12      54       0   
	3       0       0       0      62   
	@ Confusion matrix val:
	        0       1       2       3   
	0       1       0       0       0   
	1       0      45      58       0   
	2       0       4      23       1   
	3       0       0       4       0   
training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/ArgumentsPredictor-CP-02-12-2024_16-03.pth for epoch 14 with best va-f1: 0.6725764604135545

plot_training_history(history)

plot_training_history_per_class(history, 4)

print('Test results:')
results_glaucoma = arguments_predictor.evaluate(glaucoma_collection_claims, glaucoma_collection_premises, glaucoma_collection_relations, glaucoma_test_filename_to_labels)
results_neoplasm = arguments_predictor.evaluate(neoplasm_collection_claims, neoplasm_collection_premises, neoplasm_collection_relations, neoplasm_test_filename_to_labels)
results_mixed = arguments_predictor.evaluate(mixed_collection_claims, mixed_collection_premises, mixed_collection_relations, mixed_test_filename_to_labels)

Test results:

Validating: 100%|█████████████████████████████████████████████████████| 12/12 [00:03<00:00,  3.62it/s]

[Arguments Predictor] Test-set	@ Loss:         1.28247   
	@ Acc:          62.50     %
	@ Macro F1:     0.265     
	@ Weighted F1:  0.575     


	@ Confusion matrix:
	        0       1       2       3   
	0       0       3       0       0   
	1       0      53       7       0   
	2       0      23       7       2   
	3       0       1       0       0   

Validating: 100%|█████████████████████████████████████████████████████| 12/12 [00:03<00:00,  3.97it/s]

[Arguments Predictor] Test-set	@ Loss:         1.43843   
	@ Acc:          57.29     %
	@ Macro F1:     0.268     
	@ Weighted F1:  0.559     


	@ Confusion matrix:
	        0       1       2       3   
	0       0       1       0       0   
	1       2      53      14       1   
	2       0      19       1       0   
	3       0       2       2       1   

Validating: 100%|█████████████████████████████████████████████████████| 12/12 [00:03<00:00,  3.60it/s]

[Arguments Predictor] Test-set	@ Loss:         1.20793   
	@ Acc:          60.42     %
	@ Macro F1:     0.468     
	@ Weighted F1:  0.625     


	@ Confusion matrix:
	        0       1       2       3   
	0       1       2       0       0   
	1       0      50      19       2   
	2       0      11       5       1   
	3       0       1       2       2   

Optuna Studies

# First study 

study = optuna.create_study(direction="maximize")  
study.optimize(
    lambda trial: objective(trial, 
                            claims_cnn_classifier,
                            premises_cnn_classifier,
                            relations_cnn_classifier, 
                            abs_dataset_claims, 
                            abs_dataset_premises, 
                            abs_dataset_relations, 
                            train_filename_to_labels,
                            val_filename_to_labels,
                            class_weights,
                            class_weights_2),
    n_trials=100
)

[I 2024-11-30 17:35:56,990] A new study created in memory with name: no-name-e2684ee9-f131-488f-9e5b-fa6831819c95
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  6.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  6.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
[I 2024-11-30 17:57:24,753] Trial 0 finished with value: 0.5690265486725664 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 5.089056024851125e-05, 'beta1': 0.8300070308152406, 'beta2': 0.8813008900394705, 'lr': 0.0006856553513250569, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.4735834580804681}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_0/ArgumentsPredictor-CP-30-11-2024_17-35.pth for epoch 73 with best va-f1: 0.5690265486725664

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
[I 2024-11-30 18:03:43,313] Trial 1 finished with value: 0.21638655462184875 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 0.006177955444009073, 'momentum': 0.6852787662378628, 'lr': 0.00010903988175129462, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 9, 'T_mult': 2, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.20900591802497603}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_1/ArgumentsPredictor-CP-30-11-2024_17-57.pth for epoch 6 with best va-f1: 0.21638655462184875

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
[I 2024-11-30 18:11:21,611] Trial 2 finished with value: 0.321170260557053 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.0008064722239912452, 'beta1': 0.864056273352784, 'beta2': 0.9010839869701698, 'lr': 0.00011829956998441106, 'scheduler': None, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.3826711786646357}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_2/ArgumentsPredictor-CP-30-11-2024_18-03.pth for epoch 14 with best va-f1: 0.321170260557053

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.11it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.06it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.11it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.10it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
[I 2024-11-30 18:16:49,570] Trial 3 finished with value: 0.3319411764705882 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'AdamW', 'weight_decay': 0.0019034374553523188, 'beta1': 0.8026008433711967, 'beta2': 0.8873632920061183, 'lr': 0.00011559492921668583, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 5, 'T_mult': 2, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.29931210304982425}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_3/ArgumentsPredictor-CP-30-11-2024_18-11.pth for epoch 4 with best va-f1: 0.3319411764705882

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
[I 2024-11-30 18:24:33,734] Trial 4 finished with value: 0.5522215913123714 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 4.064112874859808e-05, 'beta1': 0.9419380709090184, 'beta2': 0.9880837047968927, 'lr': 0.00021661765208812986, 'scheduler': 'CosineAnnealing', 'T_max': 25, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.11732508195811903}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_4/ArgumentsPredictor-CP-30-11-2024_18-16.pth for epoch 10 with best va-f1: 0.5522215913123714

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.64it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.70it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.65it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.67it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
[I 2024-11-30 18:39:10,285] Trial 5 finished with value: 0.5512899262899262 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 0.0008031337325927195, 'beta1': 0.9822438667714914, 'beta2': 0.9903198532010448, 'lr': 0.0003694069485978031, 'scheduler': None, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.022998894828877958}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_5/ArgumentsPredictor-CP-30-11-2024_18-24.pth for epoch 45 with best va-f1: 0.5512899262899262

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.95it/s]
[I 2024-11-30 18:45:45,995] Trial 6 finished with value: 0.24047619047619045 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 0.003059618832082689, 'momentum': 0.8975216784578199, 'lr': 0.00047083376896027613, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 7, 'T_mult': 3, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.2706866294812967}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_6/ArgumentsPredictor-CP-30-11-2024_18-39.pth for epoch 8 with best va-f1: 0.24047619047619045

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.50it/s]
[I 2024-11-30 18:53:41,533] Trial 7 finished with value: 0.46638655462184875 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 0.009214067405521621, 'beta1': 0.8175233734915642, 'beta2': 0.8811312652808856, 'lr': 0.00018931000168878948, 'scheduler': 'CosineAnnealing', 'T_max': 16, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.3229807535604662}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_7/ArgumentsPredictor-CP-30-11-2024_18-45.pth for epoch 13 with best va-f1: 0.46638655462184875

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:07<00:00,  8.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  8.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
[I 2024-11-30 18:58:47,292] Trial 8 finished with value: 0.21548117154811716 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 0.0010279485097207481, 'momentum': 0.7294253333037332, 'lr': 0.0009872836481114916, 'scheduler': None, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.139937266806264}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_8/ArgumentsPredictor-CP-30-11-2024_18-53.pth for epoch 1 with best va-f1: 0.21548117154811716

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
[I 2024-11-30 19:03:46,237] Trial 9 finished with value: 0.46524663677130046 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 0.00016318782739645294, 'beta1': 0.8935589418180492, 'beta2': 0.9348096335361566, 'lr': 0.00034139006379735727, 'scheduler': 'CosineAnnealing', 'T_max': 14, 'batch_size': 16, 'WRS': False, 'apdrop_p': 0.2427104063514226}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_9/ArgumentsPredictor-CP-30-11-2024_18-58.pth for epoch 1 with best va-f1: 0.46524663677130046

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
[I 2024-11-30 19:12:20,780] Trial 10 finished with value: 0.5498632010943912 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 1.004860595433829e-05, 'beta1': 0.8528731774383326, 'beta2': 0.9304163489360732, 'lr': 0.0007887837622965814, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.47645247041436517}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_10/ArgumentsPredictor-CP-30-11-2024_19-03.pth for epoch 15 with best va-f1: 0.5498632010943912

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
[I 2024-11-30 19:21:59,433] Trial 11 finished with value: 0.5313852813852814 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 4.976001455486561e-05, 'beta1': 0.9532752133412005, 'beta2': 0.9905858375496994, 'lr': 0.0002207284949011251, 'scheduler': 'CosineAnnealing', 'T_max': 43, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.09246187767079861}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_11/ArgumentsPredictor-CP-30-11-2024_19-12.pth for epoch 18 with best va-f1: 0.5313852813852814

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
[I 2024-11-30 19:34:17,688] Trial 12 finished with value: 0.552740431888662 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 4.749062645613744e-05, 'beta1': 0.9297560977349716, 'beta2': 0.9720700512471091, 'lr': 0.0005026555672414867, 'scheduler': 'CosineAnnealing', 'T_max': 32, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.47795320070762026}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_12/ArgumentsPredictor-CP-30-11-2024_19-21.pth for epoch 30 with best va-f1: 0.552740431888662

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
[I 2024-11-30 19:43:05,451] Trial 13 finished with value: 0.5427816026687486 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 0.00011965763228633953, 'beta1': 0.9230265371031923, 'beta2': 0.970085004261073, 'lr': 0.0005966807263249266, 'scheduler': 'CosineAnnealing', 'T_max': 40, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.4962785987617175}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_13/ArgumentsPredictor-CP-30-11-2024_19-34.pth for epoch 15 with best va-f1: 0.5427816026687486

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.92it/s]
[I 2024-11-30 19:53:46,667] Trial 14 finished with value: 0.5314217891054472 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 1.0480828574400637e-05, 'beta1': 0.899973340073625, 'beta2': 0.9565514522409011, 'lr': 0.0005933882329662113, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.4254903235908678}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_14/ArgumentsPredictor-CP-30-11-2024_19-43.pth for epoch 23 with best va-f1: 0.5314217891054472

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
[I 2024-11-30 20:07:54,490] Trial 15 finished with value: 0.534789644012945 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 3.3830444532586976e-05, 'beta1': 0.8493216755893027, 'beta2': 0.8585948181700565, 'lr': 0.000593985064000994, 'scheduler': 'CosineAnnealing', 'T_max': 33, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.39319115274419725}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_15/ArgumentsPredictor-CP-30-11-2024_19-53.pth for epoch 38 with best va-f1: 0.534789644012945

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.90it/s]
[I 2024-11-30 20:21:58,656] Trial 16 finished with value: 0.5404474610356964 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 0.00017495235894096536, 'beta1': 0.9098889135202624, 'beta2': 0.9749064933381795, 'lr': 0.00042289433079428914, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.4322149738951397}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_16/ArgumentsPredictor-CP-30-11-2024_20-07.pth for epoch 38 with best va-f1: 0.5404474610356964

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
[I 2024-11-30 20:39:15,868] Trial 17 finished with value: 0.5509498075820847 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 8.004245793876272e-05, 'beta1': 0.8716005186868705, 'beta2': 0.9174849245288893, 'lr': 0.0008216364472003186, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.3549399956005219}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_17/ArgumentsPredictor-CP-30-11-2024_20-21.pth for epoch 54 with best va-f1: 0.5509498075820847

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
[I 2024-11-30 20:47:47,493] Trial 18 finished with value: 0.3911290322580645 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 2.3981273964868793e-05, 'beta1': 0.8325365575215841, 'beta2': 0.8383848153060302, 'lr': 0.0002928202454644714, 'scheduler': 'CosineAnnealing', 'T_max': 50, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.45855548102222665}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_18/ArgumentsPredictor-CP-30-11-2024_20-39.pth for epoch 15 with best va-f1: 0.3911290322580645

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
[I 2024-11-30 21:04:49,805] Trial 19 finished with value: 0.5370813397129187 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 0.00028246909319618025, 'beta1': 0.96737650744063, 'beta2': 0.9983412900540167, 'lr': 0.0004939437688829759, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 20, 'T_mult': 1, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.4999876325541363}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_19/ArgumentsPredictor-CP-30-11-2024_20-47.pth for epoch 53 with best va-f1: 0.5370813397129187

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
[I 2024-11-30 21:11:34,938] Trial 20 finished with value: 0.1036764705882353 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 0, 'optimizer': 'SGD', 'weight_decay': 2.008519784528581e-05, 'momentum': 0.5752191792831336, 'lr': 0.0007796532873409772, 'scheduler': 'CosineAnnealing', 'T_max': 26, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.3419161642097356}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_20/ArgumentsPredictor-CP-30-11-2024_21-04.pth for epoch 8 with best va-f1: 0.1036764705882353

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
[I 2024-11-30 21:19:50,895] Trial 21 finished with value: 0.549268018018018 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 6.540224644875217e-05, 'beta1': 0.9346932707122848, 'beta2': 0.9796654634438697, 'lr': 0.00018753621083035223, 'scheduler': 'CosineAnnealing', 'T_max': 26, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.17241480702184833}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_21/ArgumentsPredictor-CP-30-11-2024_21-11.pth for epoch 12 with best va-f1: 0.549268018018018

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
[I 2024-11-30 21:27:25,512] Trial 22 finished with value: 0.5496632996632996 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 3.7695490517357713e-05, 'beta1': 0.9423032470181821, 'beta2': 0.9655196924147983, 'lr': 0.0002651033999718994, 'scheduler': 'CosineAnnealing', 'T_max': 31, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.00462643334308227}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_22/ArgumentsPredictor-CP-30-11-2024_21-19.pth for epoch 9 with best va-f1: 0.5496632996632996

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:10<00:00,  6.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
[I 2024-11-30 21:37:52,091] Trial 23 finished with value: 0.5522215913123714 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'AdamW', 'weight_decay': 0.0003390020257150334, 'beta1': 0.9201387944500479, 'beta2': 0.9535866940350652, 'lr': 0.00014918645958690094, 'scheduler': 'CosineAnnealing', 'T_max': 21, 'batch_size': 4, 'WRS': False, 'apdrop_p': 0.08548671784349576}. Best is trial 0 with value: 0.5690265486725664.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_23/ArgumentsPredictor-CP-30-11-2024_21-27.pth for epoch 21 with best va-f1: 0.5522215913123714

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.10it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.24it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.85it/s]
[I 2024-11-30 21:49:09,959] Trial 24 finished with value: 0.6129066912216083 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.1101309546262724e-05, 'beta1': 0.9624083638554031, 'beta2': 0.9853967572470442, 'lr': 0.00026714214836317233, 'scheduler': 'CosineAnnealing', 'T_max': 37, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.4229214329237476}. Best is trial 24 with value: 0.6129066912216083.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_24/ArgumentsPredictor-CP-30-11-2024_21-37.pth for epoch 27 with best va-f1: 0.6129066912216083

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.33it/s]
[I 2024-11-30 21:56:42,006] Trial 25 finished with value: 0.553818301514154 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 1.377189876240586e-05, 'beta1': 0.9599077321155252, 'beta2': 0.9835767071962591, 'lr': 0.0006658361772386057, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.41886250981462886}. Best is trial 24 with value: 0.6129066912216083.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_25/ArgumentsPredictor-CP-30-11-2024_21-49.pth for epoch 11 with best va-f1: 0.553818301514154

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
[I 2024-11-30 22:07:48,048] Trial 26 finished with value: 0.5593463302752294 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 1.6036101797628643e-05, 'beta1': 0.9892275456425317, 'beta2': 0.9989850626970206, 'lr': 0.000983024752492362, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.4126711381174327}. Best is trial 24 with value: 0.6129066912216083.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_26/ArgumentsPredictor-CP-30-11-2024_21-56.pth for epoch 27 with best va-f1: 0.5593463302752294

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.27it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
[I 2024-11-30 22:18:28,005] Trial 27 finished with value: 0.54585326953748 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 1.7851669119549928e-05, 'beta1': 0.9789995448251754, 'beta2': 0.998646245648317, 'lr': 0.000945767511603202, 'scheduler': None, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.3738466330551489}. Best is trial 24 with value: 0.6129066912216083.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_27/ArgumentsPredictor-CP-30-11-2024_22-07.pth for epoch 25 with best va-f1: 0.54585326953748

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.35it/s]
[I 2024-11-30 22:27:30,843] Trial 28 finished with value: 0.5403489875053856 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.7963568140451266e-05, 'beta1': 0.9854550971992092, 'beta2': 0.9962648121643018, 'lr': 0.0007046167838547983, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.4427961456285668}. Best is trial 24 with value: 0.6129066912216083.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_28/ArgumentsPredictor-CP-30-11-2024_22-18.pth for epoch 19 with best va-f1: 0.5403489875053856

Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.24it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.45it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.40it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:03<00:00,  8.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  6.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  8.21it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:08<00:00,  7.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 66/66 [00:09<00:00,  7.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 34/34 [00:04<00:00,  7.97it/s]
[I 2024-11-30 22:46:27,808] Trial 29 finished with value: 0.41814979606970704 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'SGD', 'weight_decay': 8.525707128584757e-05, 'momentum': 0.5035333787062428, 'lr': 0.0003887668827002084, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 17, 'T_mult': 3, 'batch_size': 4, 'WRS': True, 'apdrop_p': 0.40737302858648317}. Best is trial 24 with value: 0.6129066912216083.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_29/ArgumentsPredictor-CP-30-11-2024_22-27.pth for epoch 64 with best va-f1: 0.41814979606970704

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
[I 2024-11-30 22:54:48,387] Trial 30 finished with value: 0.6065359477124183 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 1.6400901340136295e-05, 'beta1': 0.9635276853043097, 'beta2': 0.9941660604887188, 'lr': 0.00027404245588714314, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.22100236530994305}. Best is trial 24 with value: 0.6129066912216083.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_30/ArgumentsPredictor-CP-30-11-2024_22-46.pth for epoch 16 with best va-f1: 0.6065359477124183

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
[I 2024-11-30 23:05:05,210] Trial 31 finished with value: 0.5257575757575758 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 1.6600431103573806e-05, 'beta1': 0.9657952121991877, 'beta2': 0.994949368831066, 'lr': 0.0002654873134692865, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.2312021184193996}. Best is trial 24 with value: 0.6129066912216083.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_31/ArgumentsPredictor-CP-30-11-2024_22-54.pth for epoch 25 with best va-f1: 0.5257575757575758

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.33it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
[I 2024-11-30 23:12:37,210] Trial 32 finished with value: 0.6320161290322581 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 50, 'r_frozen_layers_percentage': 25, 'optimizer': 'Adam', 'weight_decay': 2.3746667482755665e-05, 'beta1': 0.9734526285259054, 'beta2': 0.9937712115477864, 'lr': 0.00031124651629598404, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.17999229255359664}. Best is trial 32 with value: 0.6320161290322581.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_32/ArgumentsPredictor-CP-30-11-2024_23-05.pth for epoch 12 with best va-f1: 0.6320161290322581

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.32it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
[I 2024-11-30 23:20:06,416] Trial 33 finished with value: 0.6433087027914615 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.369171204862457e-05, 'beta1': 0.951878593472149, 'beta2': 0.9863785790770655, 'lr': 0.0002996369460368302, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.19506472686188364}. Best is trial 33 with value: 0.6433087027914615.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_33/ArgumentsPredictor-CP-30-11-2024_23-12.pth for epoch 11 with best va-f1: 0.6433087027914615

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
[I 2024-11-30 23:27:33,572] Trial 34 finished with value: 0.6458066277358401 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.54090827574498e-05, 'beta1': 0.9502598128022592, 'beta2': 0.9847857194900098, 'lr': 0.00030528026985198625, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.18758023849662472}. Best is trial 34 with value: 0.6458066277358401.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_34/ArgumentsPredictor-CP-30-11-2024_23-20.pth for epoch 11 with best va-f1: 0.6458066277358401

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
[I 2024-11-30 23:35:02,063] Trial 35 finished with value: 0.648323921662862 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.9775758852932836e-05, 'beta1': 0.9496905463172802, 'beta2': 0.9852600737481577, 'lr': 0.0003100668878705959, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.18787089055395173}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_35/ArgumentsPredictor-CP-30-11-2024_23-27.pth for epoch 11 with best va-f1: 0.648323921662862

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
[I 2024-11-30 23:43:23,749] Trial 36 finished with value: 0.5814771566194716 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.9407936494556546e-05, 'beta1': 0.948422559951106, 'beta2': 0.9794813809340542, 'lr': 0.00022818472833144868, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.18658444529787646}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_36/ArgumentsPredictor-CP-30-11-2024_23-35.pth for epoch 15 with best va-f1: 0.5814771566194716

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
[I 2024-11-30 23:51:45,569] Trial 37 finished with value: 0.6078034328996396 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 5.9736818309595214e-05, 'beta1': 0.9486661525586056, 'beta2': 0.9827006106289924, 'lr': 0.00033773649122109233, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.27658513927957357}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_37/ArgumentsPredictor-CP-30-11-2024_23-43.pth for epoch 15 with best va-f1: 0.6078034328996396

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.46it/s]
[I 2024-12-01 00:00:32,560] Trial 38 finished with value: 0.46638655462184875 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'SGD', 'weight_decay': 9.753286289329367e-05, 'momentum': 0.8977176663775288, 'lr': 0.00041211569168368, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.18066377285153615}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_38/ArgumentsPredictor-CP-30-11-2024_23-51.pth for epoch 17 with best va-f1: 0.46638655462184875

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:11<00:00,  2.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.22it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:13<00:00,  2.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  2.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:12<00:00,  2.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
[I 2024-12-01 00:10:35,526] Trial 39 finished with value: 0.6367430673457838 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.0003948321386792107, 'beta1': 0.8874871547561282, 'beta2': 0.9587237012024575, 'lr': 0.00031023275155743084, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.14598613703347485}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_39/ArgumentsPredictor-CP-01-12-2024_00-00.pth for epoch 22 with best va-f1: 0.6367430673457838

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.50it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.26it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.25it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.56it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.41it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.36it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
[I 2024-12-01 00:31:12,630] Trial 40 finished with value: 0.5279297765617875 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.0006993719444455714, 'beta1': 0.8875340297143571, 'beta2': 0.9602060333761409, 'lr': 0.00019022702493399961, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.1522953682376583}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_40/ArgumentsPredictor-CP-01-12-2024_00-10.pth for epoch 62 with best va-f1: 0.5279297765617875

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.23it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.47it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.48it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
[I 2024-12-01 00:42:03,812] Trial 41 finished with value: 0.6175401521555367 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.00037134050135463387, 'beta1': 0.8758782616090627, 'beta2': 0.9481620881736849, 'lr': 0.00032786113146293443, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.12004577068444539}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_41/ArgumentsPredictor-CP-01-12-2024_00-31.pth for epoch 22 with best va-f1: 0.6175401521555367

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.31it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.36it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
[I 2024-12-01 00:51:56,890] Trial 42 finished with value: 0.5701354679802956 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.0005276376849067801, 'beta1': 0.9727438965315557, 'beta2': 0.9882568326812122, 'lr': 0.00030395497222954416, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.20434699440910375}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_42/ArgumentsPredictor-CP-01-12-2024_00-42.pth for epoch 18 with best va-f1: 0.5701354679802956

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.51it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.26it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.28it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.34it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.31it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.29it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
[I 2024-12-01 01:02:46,090] Trial 43 finished with value: 0.5265363721246074 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.0014841882062578992, 'beta1': 0.9102638524461544, 'beta2': 0.97711486823849, 'lr': 0.00024088942642452123, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.04895849226173116}. Best is trial 35 with value: 0.648323921662862.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_43/ArgumentsPredictor-CP-01-12-2024_00-51.pth for epoch 22 with best va-f1: 0.5265363721246074

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:11<00:00,  2.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.42it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.32it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.27it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.35it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.57it/s]
[I 2024-12-01 01:13:27,290] Trial 44 finished with value: 0.6578218185154601 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.00021973389482186825, 'beta1': 0.9402023382788379, 'beta2': 0.9910063367763936, 'lr': 0.00035073033655230404, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 13, 'T_mult': 1, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.14977128789097852}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_44/ArgumentsPredictor-CP-01-12-2024_01-02.pth for epoch 21 with best va-f1: 0.6578218185154601

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:10<00:00,  1.57it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:10<00:00,  1.59it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.72it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.73it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:10<00:00,  1.60it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.62it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.61it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:10<00:00,  1.55it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.74it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.71it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.78it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.76it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.63it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.66it/s]
[I 2024-12-01 01:24:53,202] Trial 45 finished with value: 0.5431089605115355 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.00015588563119950098, 'beta1': 0.9339183064972111, 'beta2': 0.9874552161499951, 'lr': 0.0003643465467598007, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 13, 'T_mult': 1, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.14519768391459648}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_45/ArgumentsPredictor-CP-01-12-2024_01-13.pth for epoch 27 with best va-f1: 0.5431089605115355

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.30it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.39it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.49it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.34it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:03<00:00,  4.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.19it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.33it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.43it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
[I 2024-12-01 01:40:05,893] Trial 46 finished with value: 0.3826754385964912 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'SGD', 'weight_decay': 0.0032401461163515228, 'momentum': 0.7608502699901772, 'lr': 0.0004259659106475456, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 13, 'T_mult': 1, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.25622464905170644}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_46/ArgumentsPredictor-CP-01-12-2024_01-24.pth for epoch 43 with best va-f1: 0.3826754385964912

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.52it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.38it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.30it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.38it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.44it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.21it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.22it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.37it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.53it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.57it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.63it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.55it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.54it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.68it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
[I 2024-12-01 01:52:51,644] Trial 47 finished with value: 0.5901206636500754 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.0010229471460429078, 'beta1': 0.9122755505988394, 'beta2': 0.9441871755877602, 'lr': 0.0003574528273001171, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 16, 'T_mult': 2, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.11665450191509419}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_47/ArgumentsPredictor-CP-01-12-2024_01-40.pth for epoch 30 with best va-f1: 0.5901206636500754

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  3.35it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.64it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.58it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.46it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:05<00:00,  2.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.25it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
[I 2024-12-01 01:59:09,987] Trial 48 finished with value: 0.5556195462478185 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 0.0001847883963344228, 'beta1': 0.9417907922567387, 'beta2': 0.9913423780031648, 'lr': 0.00020896760303364817, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 10, 'T_mult': 1, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.20393489596010084}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_48/ArgumentsPredictor-CP-01-12-2024_01-52.pth for epoch 3 with best va-f1: 0.5556195462478185

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.13it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.17it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.08it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.12it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.05it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.07it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.07it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.15it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.10it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.10it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.12it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.12it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.15it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.06it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.13it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.08it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.10it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.15it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.08it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.11it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.07it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.16it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.13it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.13it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.12it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.07it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.13it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.04it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.10it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.08it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.11it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.15it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.06it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.09it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
[I 2024-12-01 02:09:05,887] Trial 49 finished with value: 0.40551004392063994 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.00023089333460356147, 'beta1': 0.9538444203535142, 'beta2': 0.9848999346275427, 'lr': 0.0004649326651500916, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 16, 'T_mult': 2, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.08907203370798042}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_49/ArgumentsPredictor-CP-01-12-2024_01-59.pth for epoch 27 with best va-f1: 0.40551004392063994

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
[I 2024-12-01 02:17:41,665] Trial 50 finished with value: 0.5501589582788955 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 0.00011009249442275692, 'beta1': 0.9005669122428898, 'beta2': 0.9666369365658274, 'lr': 0.0002499906886494407, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.29946985914013846}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_50/ArgumentsPredictor-CP-01-12-2024_02-09.pth for epoch 16 with best va-f1: 0.5501589582788955

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
[I 2024-12-01 02:25:25,059] Trial 51 finished with value: 0.6551099060915815 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 3.911020196070679e-05, 'beta1': 0.9730104135907577, 'beta2': 0.9922934576160789, 'lr': 0.00030335096671168594, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.16405943685680777}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_51/ArgumentsPredictor-CP-01-12-2024_02-17.pth for epoch 12 with best va-f1: 0.6551099060915815

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.16it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
[I 2024-12-01 02:32:54,089] Trial 52 finished with value: 0.644517982017982 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 4.0079583585687865e-05, 'beta1': 0.8861198841978409, 'beta2': 0.9723004367016533, 'lr': 0.00028846566175153054, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.1631590288073265}. Best is trial 44 with value: 0.6578218185154601.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_52/ArgumentsPredictor-CP-01-12-2024_02-25.pth for epoch 11 with best va-f1: 0.644517982017982

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
[I 2024-12-01 02:41:03,272] Trial 53 finished with value: 0.6725764604135545 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 4.4739585622554004e-05, 'beta1': 0.9269644651532588, 'beta2': 0.9818981814521276, 'lr': 0.0002894813180757364, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.12164182574610338}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_53/ArgumentsPredictor-CP-01-12-2024_02-32.pth for epoch 14 with best va-f1: 0.6725764604135545

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
[I 2024-12-01 02:49:52,110] Trial 54 finished with value: 0.5267192886953366 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 4.274667291378201e-05, 'beta1': 0.9282053420410517, 'beta2': 0.9812694520372642, 'lr': 0.00038813806207444563, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.16248388702055808}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_54/ArgumentsPredictor-CP-01-12-2024_02-41.pth for epoch 17 with best va-f1: 0.5267192886953366

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
[I 2024-12-01 02:57:21,628] Trial 55 finished with value: 0.5950980392156863 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 6.327833087052178e-05, 'beta1': 0.9382067943284406, 'beta2': 0.974339126908359, 'lr': 0.00028710911487758706, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.1107133705634562}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_55/ArgumentsPredictor-CP-01-12-2024_02-49.pth for epoch 11 with best va-f1: 0.5950980392156863

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.99it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
[I 2024-12-01 03:05:56,776] Trial 56 finished with value: 0.6177477477477478 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 3.3470593707676686e-05, 'beta1': 0.9201425508705021, 'beta2': 0.9908459097658865, 'lr': 0.00033336236962621535, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 11, 'T_mult': 1, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.05691469317246639}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_56/ArgumentsPredictor-CP-01-12-2024_02-57.pth for epoch 17 with best va-f1: 0.6177477477477478

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
[I 2024-12-01 03:12:34,662] Trial 57 finished with value: 0.46638655462184875 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 5.012101098772342e-05, 'beta1': 0.9560097054478378, 'beta2': 0.9891938033586575, 'lr': 0.00015164441782355263, 'scheduler': None, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.12323318196249344}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_57/ArgumentsPredictor-CP-01-12-2024_03-05.pth for epoch 8 with best va-f1: 0.46638655462184875

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.01it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.79it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.03it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
[I 2024-12-01 03:21:41,224] Trial 58 finished with value: 0.1934673366834171 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'SGD', 'weight_decay': 7.446702336436298e-05, 'momentum': 0.6323790788599061, 'lr': 0.00023519975286919768, 'scheduler': None, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.21841796532496335}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_58/ArgumentsPredictor-CP-01-12-2024_03-12.pth for epoch 21 with best va-f1: 0.1934673366834171

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.47it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
[I 2024-12-01 03:31:50,416] Trial 59 finished with value: 0.568652872825777 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.0959034633689039e-05, 'beta1': 0.8559494684352564, 'beta2': 0.9686617434641105, 'lr': 0.0004482905062479972, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.07123552952321531}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_59/ArgumentsPredictor-CP-01-12-2024_03-21.pth for epoch 23 with best va-f1: 0.568652872825777

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
[I 2024-12-01 03:42:23,078] Trial 60 finished with value: 0.5905448717948718 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 0.00013040837480864816, 'beta1': 0.9751115918491342, 'beta2': 0.9928904803267216, 'lr': 0.0002529047931646841, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 20, 'T_mult': 3, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.2442653901923947}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_60/ArgumentsPredictor-CP-01-12-2024_03-31.pth for epoch 25 with best va-f1: 0.5905448717948718

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
[I 2024-12-01 03:49:54,853] Trial 61 finished with value: 0.6187330623306233 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 4.0827784476681064e-05, 'beta1': 0.9463960921391612, 'beta2': 0.9866487416645857, 'lr': 0.00028342413436024374, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.19340217406546215}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_61/ArgumentsPredictor-CP-01-12-2024_03-42.pth for epoch 11 with best va-f1: 0.6187330623306233

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
[I 2024-12-01 03:58:56,708] Trial 62 finished with value: 0.5887799564270153 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.6845956314378484e-05, 'beta1': 0.9289223859092659, 'beta2': 0.9764713709416794, 'lr': 0.00020578688607440158, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.16477121850097684}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_62/ArgumentsPredictor-CP-01-12-2024_03-49.pth for epoch 18 with best va-f1: 0.5887799564270153

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
[I 2024-12-01 04:06:27,898] Trial 63 finished with value: 0.6010045001607199 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 3.47273968101244e-05, 'beta1': 0.9549890194903523, 'beta2': 0.9855072735659075, 'lr': 0.0003798550753960574, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.128857187923199}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_63/ArgumentsPredictor-CP-01-12-2024_03-58.pth for epoch 11 with best va-f1: 0.6010045001607199

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
[I 2024-12-01 04:15:39,764] Trial 64 finished with value: 0.579920634920635 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 5.299363102823382e-05, 'beta1': 0.9692585731724819, 'beta2': 0.9822503781012146, 'lr': 0.0005400335551725236, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.13575670756808644}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_64/ArgumentsPredictor-CP-01-12-2024_04-06.pth for epoch 18 with best va-f1: 0.579920634920635

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
[I 2024-12-01 04:24:54,717] Trial 65 finished with value: 0.6247353048557868 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 1.9838437277443583e-05, 'beta1': 0.8040454364900238, 'beta2': 0.9348876208823441, 'lr': 0.0003555478049067413, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.10559553607365368}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_65/ArgumentsPredictor-CP-01-12-2024_04-15.pth for epoch 20 with best va-f1: 0.6247353048557868

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.65it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.94it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.23it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
[I 2024-12-01 04:33:15,936] Trial 66 finished with value: 0.5373737373737374 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.2217485222454145e-05, 'beta1': 0.8766235625959625, 'beta2': 0.9251599819147877, 'lr': 0.00029386617785219716, 'scheduler': None, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.16264453936479445}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_66/ArgumentsPredictor-CP-01-12-2024_04-24.pth for epoch 16 with best va-f1: 0.5373737373737374

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.41it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
[I 2024-12-01 04:40:46,139] Trial 67 finished with value: 0.6541050903119869 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.3411088030633876e-05, 'beta1': 0.945045350845781, 'beta2': 0.9789142602054787, 'lr': 0.0003250821597346476, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.19464417393986908}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_67/ArgumentsPredictor-CP-01-12-2024_04-33.pth for epoch 11 with best va-f1: 0.6541050903119869

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.77it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.02it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.87it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
[I 2024-12-01 04:49:31,183] Trial 68 finished with value: 0.5334648776637727 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.3967166334471853e-05, 'beta1': 0.9369325980777767, 'beta2': 0.9794655280195699, 'lr': 0.0003211430451967735, 'scheduler': None, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.22763057666430492}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_68/ArgumentsPredictor-CP-01-12-2024_04-40.pth for epoch 19 with best va-f1: 0.5334648776637727

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
[I 2024-12-01 05:00:30,509] Trial 69 finished with value: 0.6206056466302368 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 3.416449320984633e-05, 'beta1': 0.902168156301004, 'beta2': 0.9726479864634032, 'lr': 0.00040676863589614407, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 14, 'T_mult': 1, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.26008365642299924}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_69/ArgumentsPredictor-CP-01-12-2024_04-49.pth for epoch 27 with best va-f1: 0.6206056466302368

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.42it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.40it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
[I 2024-12-01 05:09:26,864] Trial 70 finished with value: 0.6083218949072607 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 7.256771494469073e-05, 'beta1': 0.9592995444883913, 'beta2': 0.9834608483950034, 'lr': 0.00026345653552855755, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.17490654905809827}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_70/ArgumentsPredictor-CP-01-12-2024_05-00.pth for epoch 17 with best va-f1: 0.6083218949072607

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
[I 2024-12-01 05:16:58,289] Trial 71 finished with value: 0.6686274509803921 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.198577708450326e-05, 'beta1': 0.9462650189183631, 'beta2': 0.989430041118672, 'lr': 0.0003419308812621384, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.19617953918457204}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_71/ArgumentsPredictor-CP-01-12-2024_05-09.pth for epoch 11 with best va-f1: 0.6686274509803921

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.20it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
[I 2024-12-01 05:25:31,508] Trial 72 finished with value: 0.5297619047619048 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.6199900828725438e-05, 'beta1': 0.9245808675519867, 'beta2': 0.9777121608095826, 'lr': 0.0003437538646416526, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.15322052811957376}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_72/ArgumentsPredictor-CP-01-12-2024_05-16.pth for epoch 16 with best va-f1: 0.5297619047619048

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
[I 2024-12-01 05:33:02,110] Trial 73 finished with value: 0.6458066277358401 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 4.554202742285958e-05, 'beta1': 0.9429366295191108, 'beta2': 0.9920490587303943, 'lr': 0.00031788728627516323, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.2079011851907247}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_73/ArgumentsPredictor-CP-01-12-2024_05-25.pth for epoch 11 with best va-f1: 0.6458066277358401

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.66it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
[I 2024-12-01 05:40:33,615] Trial 74 finished with value: 0.6383634821285279 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.0971588856490312e-05, 'beta1': 0.941872739819735, 'beta2': 0.9894065249394814, 'lr': 0.0003158357627760208, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.20349640982722744}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_74/ArgumentsPredictor-CP-01-12-2024_05-33.pth for epoch 11 with best va-f1: 0.6383634821285279

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
[I 2024-12-01 05:48:04,318] Trial 75 finished with value: 0.5880422691879866 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 5.355050579823943e-05, 'beta1': 0.946777668235722, 'beta2': 0.9960821194273485, 'lr': 0.00036953776006083986, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.21395525965532405}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_75/ArgumentsPredictor-CP-01-12-2024_05-40.pth for epoch 11 with best va-f1: 0.5880422691879866

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
[I 2024-12-01 05:57:58,060] Trial 76 finished with value: 0.5295092838196287 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 3.04883823236328e-05, 'beta1': 0.9807117389134902, 'beta2': 0.9930613165306511, 'lr': 0.00034602371318903923, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.23552627422585676}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_76/ArgumentsPredictor-CP-01-12-2024_05-48.pth for epoch 22 with best va-f1: 0.5295092838196287

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.17it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
[I 2024-12-01 06:03:15,321] Trial 77 finished with value: 0.21548117154811716 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'SGD', 'weight_decay': 1.5411575815703155e-05, 'momentum': 0.7872407472306072, 'lr': 0.00027792433345410496, 'scheduler': None, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.28106901485918834}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_77/ArgumentsPredictor-CP-01-12-2024_05-57.pth for epoch 1 with best va-f1: 0.21548117154811716

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.28it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.18it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.73it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.19it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.20it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.11it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.13it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.15it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.18it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.17it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.08it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.02it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.16it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:07<00:00,  4.14it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.04it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.09it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.01it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.03it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.07it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.06it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.12it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
[I 2024-12-01 06:19:40,172] Trial 78 finished with value: 0.5539800995024875 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 100, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 4.386995342714453e-05, 'beta1': 0.9317094248617348, 'beta2': 0.9916065152343173, 'lr': 0.0004400562386672726, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.1868439984214575}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_78/ArgumentsPredictor-CP-01-12-2024_06-03.pth for epoch 56 with best va-f1: 0.5539800995024875

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
[I 2024-12-01 06:30:53,551] Trial 79 finished with value: 0.5292653952353432 and parameters: {'n_ff_layers': 2, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.3129726414469678e-05, 'beta1': 0.9422150868600606, 'beta2': 0.988290104611184, 'lr': 0.00039901054028533046, 'scheduler': 'CosineAnnealing', 'T_max': 10, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.17393430548476219}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_79/ArgumentsPredictor-CP-01-12-2024_06-19.pth for epoch 28 with best va-f1: 0.5292653952353432

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
[I 2024-12-01 06:41:54,823] Trial 80 finished with value: 0.5323166187586501 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 0.008958003842399824, 'beta1': 0.9642806860015766, 'beta2': 0.981100289692055, 'lr': 0.00032194285764282246, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.1394082269435809}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_80/ArgumentsPredictor-CP-01-12-2024_06-30.pth for epoch 27 with best va-f1: 0.5323166187586501

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
[I 2024-12-01 06:58:04,097] Trial 81 finished with value: 0.5293363499245852 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 9.295214959574517e-05, 'beta1': 0.9148204963150858, 'beta2': 0.9957267730068925, 'lr': 0.00029472484362687057, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.09897077111999893}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_81/ArgumentsPredictor-CP-01-12-2024_06-41.pth for epoch 50 with best va-f1: 0.5293363499245852

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.43it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.45it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
[I 2024-12-01 07:06:29,769] Trial 82 finished with value: 0.583026208026208 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 3.709537826514169e-05, 'beta1': 0.9509519218127959, 'beta2': 0.9844982742659776, 'lr': 0.00025256178257866024, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.19657223377488833}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_82/ArgumentsPredictor-CP-01-12-2024_06-58.pth for epoch 15 with best va-f1: 0.583026208026208

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
[I 2024-12-01 07:14:53,123] Trial 83 finished with value: 0.6211851492225324 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.9274985012934915e-05, 'beta1': 0.9574122508895342, 'beta2': 0.9902040091847534, 'lr': 0.00027566968402059747, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.1578572840203199}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_83/ArgumentsPredictor-CP-01-12-2024_07-06.pth for epoch 15 with best va-f1: 0.6211851492225324

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
[I 2024-12-01 07:23:16,821] Trial 84 finished with value: 0.5240549828178694 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 3.0267355521784724e-05, 'beta1': 0.8879831371996808, 'beta2': 0.970515503998313, 'lr': 0.00030274054931399963, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.21222605802088979}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_84/ArgumentsPredictor-CP-01-12-2024_07-14.pth for epoch 15 with best va-f1: 0.5240549828178694

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.77it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.55it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.59it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
[I 2024-12-01 07:31:41,597] Trial 85 finished with value: 0.622615039281706 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 4.609024471125708e-05, 'beta1': 0.9376490453545928, 'beta2': 0.9872177721362424, 'lr': 0.00022543125725604576, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.19011453401879538}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_85/ArgumentsPredictor-CP-01-12-2024_07-23.pth for epoch 15 with best va-f1: 0.622615039281706

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:07<00:00,  2.00it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.82it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.89it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.83it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.88it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.80it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.81it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.86it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
[I 2024-12-01 07:42:05,381] Trial 86 finished with value: 0.5313561120543293 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 6.10542404730195e-05, 'beta1': 0.9475102978200527, 'beta2': 0.9925949350800146, 'lr': 0.0003383728492127219, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 7, 'T_mult': 2, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.1340391112989609}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_86/ArgumentsPredictor-CP-01-12-2024_07-31.pth for epoch 27 with best va-f1: 0.5313561120543293

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.39it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
[I 2024-12-01 07:49:46,534] Trial 87 finished with value: 0.5845841658341658 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 1024, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 3.971649887899342e-05, 'beta1': 0.9262347552280409, 'beta2': 0.9794548483478839, 'lr': 0.0003709622722690989, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.1656420666516044}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_87/ArgumentsPredictor-CP-01-12-2024_07-42.pth for epoch 11 with best va-f1: 0.5845841658341658

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
[I 2024-12-01 07:57:19,558] Trial 88 finished with value: 0.6396634790860647 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.5274909621355654e-05, 'beta1': 0.9682672103232898, 'beta2': 0.9919494275650754, 'lr': 0.00031628175039903167, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.17815429444246048}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_88/ArgumentsPredictor-CP-01-12-2024_07-49.pth for epoch 11 with best va-f1: 0.6396634790860647

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
[I 2024-12-01 08:09:37,156] Trial 89 finished with value: 0.4481566820276498 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'SGD', 'weight_decay': 1.3586114337932839e-05, 'momentum': 0.8163754887090862, 'lr': 0.00024371842909761692, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.22645221401585358}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_89/ArgumentsPredictor-CP-01-12-2024_07-57.pth for epoch 33 with best va-f1: 0.4481566820276498

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.50it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.13it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.85it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.44it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.75it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
[I 2024-12-01 08:17:59,563] Trial 90 finished with value: 0.5727298779988537 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'AdamW', 'weight_decay': 2.9800393231727324e-05, 'beta1': 0.932713607484948, 'beta2': 0.9973747818635097, 'lr': 0.0002649085813899927, 'scheduler': 'CosineAnnealingWarmRestarts', 'T_0': 17, 'T_mult': 2, 'batch_size': 8, 'WRS': False, 'apdrop_p': 0.14931756935913654}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_90/ArgumentsPredictor-CP-01-12-2024_08-09.pth for epoch 14 with best va-f1: 0.5727298779988537

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.72it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.52it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.81it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.59it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
[I 2024-12-01 08:26:24,384] Trial 91 finished with value: 0.6047292798551187 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 1.7514812545908245e-05, 'beta1': 0.9522050076249928, 'beta2': 0.9860211863483633, 'lr': 0.0002995090494068295, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.19557805122597482}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_91/ArgumentsPredictor-CP-01-12-2024_08-17.pth for epoch 15 with best va-f1: 0.6047292798551187

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.92it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.37it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.14it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.49it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
[I 2024-12-01 08:34:49,594] Trial 92 finished with value: 0.5599420849420849 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.389092230419185e-05, 'beta1': 0.9619590672766569, 'beta2': 0.9896829678179949, 'lr': 0.00028434002254727953, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.2094248927561219}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_92/ArgumentsPredictor-CP-01-12-2024_08-26.pth for epoch 15 with best va-f1: 0.5599420849420849

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.61it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.48it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:10<00:00,  3.29it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.62it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.67it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.53it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.64it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
[I 2024-12-01 08:50:06,775] Trial 93 finished with value: 0.5374505928853754 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 128, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 2.1729626200152405e-05, 'beta1': 0.944453648085875, 'beta2': 0.9840876888147715, 'lr': 0.00035584293469538726, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.24902343414531647}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_93/ArgumentsPredictor-CP-01-12-2024_08-34.pth for epoch 46 with best va-f1: 0.5374505928853754

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.58it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.62it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.46it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.69it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.83it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
[I 2024-12-01 08:57:40,417] Trial 94 finished with value: 0.6508625933766454 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 5.556728480654075e-05, 'beta1': 0.9400593965531128, 'beta2': 0.9812231085187155, 'lr': 0.0003296134002592796, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.18295033481251852}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_94/ArgumentsPredictor-CP-01-12-2024_08-50.pth for epoch 11 with best va-f1: 0.6508625933766454

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.74it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.70it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.84it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.71it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
[I 2024-12-01 09:05:11,809] Trial 95 finished with value: 0.644517982017982 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 25, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 5.341371193309947e-05, 'beta1': 0.921252617087924, 'beta2': 0.9816651237478057, 'lr': 0.0003320478783298003, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.1832495743188612}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_95/ArgumentsPredictor-CP-01-12-2024_08-57.pth for epoch 11 with best va-f1: 0.644517982017982

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.05it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.95it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.90it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.80it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.85it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.91it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.96it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  4.00it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.87it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.88it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.98it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.60it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.93it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.97it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.86it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.87it/s]
[I 2024-12-01 09:13:12,869] Trial 96 finished with value: 0.5923423423423423 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 100, 'optimizer': 'Adam', 'weight_decay': 7.132013945692053e-05, 'beta1': 0.9385042006855795, 'beta2': 0.9634332673648264, 'lr': 0.00038470298684394353, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.17066730257868457}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_96/ArgumentsPredictor-CP-01-12-2024_09-05.pth for epoch 14 with best va-f1: 0.5923423423423423

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.89it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.79it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.51it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.60it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.82it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.86it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.73it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.76it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.90it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.61it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.03it/s]
[I 2024-12-01 09:21:38,227] Trial 97 finished with value: 0.49017906216552404 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 3.8675292911604095e-05, 'beta1': 0.904863705830443, 'beta2': 0.9746206089144928, 'lr': 0.00030785153609298374, 'scheduler': 'CosineAnnealing', 'T_max': 50, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.23787387679629668}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_97/ArgumentsPredictor-CP-01-12-2024_09-13.pth for epoch 15 with best va-f1: 0.49017906216552404

Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.80it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.96it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.84it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.56it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.71it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.83it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.70it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.88it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.77it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.63it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.57it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.66it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.12it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.74it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.94it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.65it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.78it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.68it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.95it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.75it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.69it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.67it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.78it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:09<00:00,  3.54it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.72it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.82it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.79it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.97it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.76it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  3.93it/s]
Training epoch: 100%|████████████████████████████████████████████████| 33/33 [00:08<00:00,  3.81it/s]
Validating: 100%|████████████████████████████████████████████████████| 17/17 [00:04<00:00,  4.01it/s]
[I 2024-12-01 09:31:10,715] Trial 98 finished with value: 0.5973266194750542 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 256, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 50, 'optimizer': 'Adam', 'weight_decay': 8.624544948347911e-05, 'beta1': 0.9879718198851501, 'beta2': 0.9921127011115539, 'lr': 0.00026127185501176103, 'scheduler': None, 'batch_size': 8, 'WRS': True, 'apdrop_p': 0.14434419178413732}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_98/ArgumentsPredictor-CP-01-12-2024_09-21.pth for epoch 20 with best va-f1: 0.5973266194750542

Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.15it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  2.00it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.89it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.84it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.96it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.99it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.07it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.04it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.02it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:09<00:00,  1.75it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.92it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.03it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.10it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.94it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.06it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.90it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.09it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.93it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.11it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.91it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.97it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.91it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.85it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.05it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.98it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.99it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.95it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:03<00:00,  2.08it/s]
Training epoch: 100%|████████████████████████████████████████████████| 16/16 [00:08<00:00,  1.92it/s]
Validating: 100%|██████████████████████████████████████████████████████| 8/8 [00:04<00:00,  1.98it/s]
[I 2024-12-01 09:39:07,075] Trial 99 finished with value: 0.5352233676975945 and parameters: {'n_ff_layers': 3, 'ap_ff_layers0': 512, 'c_frozen_layers_percentage': 0, 'r_frozen_layers_percentage': 0, 'optimizer': 'Adam', 'weight_decay': 0.0002700929729850763, 'beta1': 0.8938293190248239, 'beta2': 0.9769975669132239, 'lr': 0.0003251025465739165, 'scheduler': None, 'batch_size': 16, 'WRS': True, 'apdrop_p': 0.12496912269858114}. Best is trial 53 with value: 0.6725764604135545.

training ended by patience exhausted; loading best model parameters in ../checkpoints/arguments_cp/optuna/30_11_24-va-f1/trial_99/ArgumentsPredictor-CP-01-12-2024_09-31.pth for epoch 15 with best va-f1: 0.5352233676975945

print(f"Best trial is {study.best_trial.number}:")
print(f"  Value: {study.best_trial.value}")
print("  Params: ")
for key, value in study.best_trial.params.items():
    print(f"    {key}: {value}")

Best trial is 53:
  Value: 0.6725764604135545
  Params: 
    n_ff_layers: 3
    ap_ff_layers0: 256
    c_frozen_layers_percentage: 0
    r_frozen_layers_percentage: 50
    optimizer: Adam
    weight_decay: 4.4739585622554004e-05
    beta1: 0.9269644651532588
    beta2: 0.9818981814521276
    lr: 0.0002894813180757364
    scheduler: None
    batch_size: 8
    WRS: True
    apdrop_p: 0.12164182574610338